Trương Tuấn là con trai của Trương Thực (張寔), thứ sử Lương Châu (涼州, nay là trung bộ và đông bộ Cam Túc) và được ban tước hiệu Tây Bình công. Năm 320, Trương Thực bị các cận vệ Diêm Thiệp (閻涉) và Triệu Ngang (趙卬) ám sát, đứng đằng sau là pháp sư Lưu Hoằng (劉弘), người này đã tự tiên tri rằng mình sẽ là người cai trị Lương Châu. Em trai Trương Thực là Trương Mậu đã bắt giữ và hành quyết Lưu Hoằng cùng đồng phạm. Do Trương Tuấn khi ấy còn quá trẻ tuổi (13 tuổi), các thuộc hạ của Trương Thực đã yêu cầu Trương Mậu trở thành thứ sử. (Do Trương Mậu lúc đó tuyên bố một lệnh đại đặc xá, một thẩm quyền thường chỉ dành cho hoàng đế, nên đây được xem như là dấu mốc độc lập của Tiền Lương.) Trương Mạo phong Trương Tuấn làm tướng, và sau đó làm thế tử. Năm 324, Trương Mậu qua đời, Trương Tuấn lên kế vị. Do Trương Mậu trước đó đã khuất phục trước Hán Triệu và được phong tước hiệu Lương vương, Trương Tuấn cũng mang tước hiệu này, mặc dù trong nội bộ Tiền Lương, ông sử dụng tước hiệu được nhà Tấn ban cho là Tây Bình công.